A Dual-Path Architecture for Scaling Compute and Capacity in LLMs
一种解耦计算与容量的双通道Transformer架构
🧭 LLM架构 · 解耦计算与容量 ★ 深度解读
Lamarr Institute · Fraunhofer IAIS · University of Bonn
通过并行的深度循环子层与宽FFN子层加可学习门控，在同FLOPs下同时提升语言建模与推理能力
📌 工作参考价值（4 点）
- 计算与容量分离的层内设计可迁移到推荐模型：在排序或召回模型中，可将宽FFN路径视为“知识容量”，循环路径视为“推理深度”，通过可学习门控动态分配每个特征（token）的计算资源，用更少参数达到近似效果。
- 可解释的路由信号能直接复用：论文中提出的deep share（深路径贡献比例）可用于分析模型对不同输入特征类型的偏好，在电商搜索或推荐中，可类似分析文本、数值、ID等特征被分配的计算量，辅助特征工程和模型调试。
- 混合路径的组合方式具有工程优势：两条路径总是一起计算，不引入稀疏性，避免负载均衡问题；门控是稠密sigmoid，实现简单，可直接嵌入现有Transformer层。在Agent多智能体或生成式推荐中，可将“循环体”复用为多次迭代推理的共享模块，与宽记忆分支结合。
- 在等FLOPs下参数更少的特性对线上推理有价值：双路径配置（α=50, K=4）仅用67%的参数就超越了纯宽度模型，推荐/Agent系统可借此在延迟和memory budget下压缩模型规模，同时保持甚至提升效果。